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Abstract 


Il lavoro qui presentato ha l'intento di proporre una comunicazione che si basa su modalità narrative 
e media diversi, per coinvolgere il più ampio pubblico possibile sia in presenza, che online. Gli autori 
mostrano due casi pratici di animazione digitale (Motion Graphic) applicata a due opere appartenen- 
ti alle collezioni del MAO: le xilografie riguardanti le Cinquantatré Stazioni del Tokaido (la principale 
via di comunicazione durante il periodo Edo, 1603-1868, fino alla costruzione della ferrovia durante 
il periodo Meiji, 1868-1912), realizzate dall'artista Utagawa Hiroshige nel 1832 e una Thang-ka realiz- 
zata dalla scuola Karma sgar-bris e risalente al XVIII secolo. Così come indicano i più recenti studi nel 
campo dell'Intelligenza Artificiale applicata al riconoscimento di immagini, la presente ricerca, attual- 
mente in una fase iniziale di svolgimento, potrebbe proficuamente avvalersi degli algoritmi di Image 
Segmentation per l'ottimizzazione delle fasi di preparazione, e non solo, del flusso di lavoro. 
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Introduzione 


Come gia osservava nel 1995 il sociologo John Urry, il mondo occidentale sta assistendo 
ad una vera proliferazione di nuovi soggetti museali [Urry 1995], avvenuta anche grazie 


wie 


allo sviluppo delle attivita di Edutainment. A tal proposito, anche il Consiglio Internazionale 
dei Musei (ICOM) afferma l'importanza del ruolo formativo ed educativo dei musei, so- 
stenendo che essi dovrebbero ‘custodire manufatti ed esemplari in fiducia per la società, 
salvaguardare memorie diverse per le generazioni future" e “raccogliere, conservare, ri- 
cercare, interpretare, esporre e migliorare la comprensione del mondo” [ICOM 2007]. 


Questo processo, che ora converge in modo impor 


+ 


tante verso l'utente, che può decidere 


+ 


se interagire passivamente o attivamente con gli strumenti proposti, è stato definito ‘sensi 


tive experiencing' [Lariani et al. 2002]. La necessità di 
conservativa ed espositiva del museo ha portato qui 


superamento della visione puramente 
ndi, attraverso un processo ancora in 


divenire, ad attribuirgli un ruolo più attivo, conferendogli anche una funzione educativa e 
comunicativa. Ciò ha promosso la realizzazione di ‘prodotti’ atti a facilitare la trasmissione 


delle conoscenze attraverso progetti di intrattenimen 


+ 


o, che danno al visitatore la possibilità 


di interagire con il patrimonio culturale e di venire coinvolti in prima persona in un processo 
di apprendimento. Le nuove tecnologie, a base visiva e interattiva, permettono un'enorme 
estensione delle modalità senso-motorie del conoscere, perché rendono la percezione 
visiva e l'azione applicabili ad oggetti che non devono essere più fisicamente presenti e 


nemmeno esistenti. 


Il Museo d’Arte Orientale: percorsi di ricerca 


ll Museo di Arte Orientale di Torino (MAO) è stato aperto al pubblico nel 2008 grazie allo 
sforzo congiunto della Città di Torino, della Regione Piemonte e di due fondazioni bancarie 


A 


ed è uno dei più importanti in Italia e tra i maggiori in 


Europa per la conoscenza e lo studio 


dell'arte orientale. Le collezioni del museo sono ospitate nello storico Palazzo Mazzonis, un 
edificio monumentale del XVII-XVIII secolo, sottoposto a un raffinato e accurato restauro 
che ne ha valorizzato le antiche strutture e decorazioni e ha permesso un'esposizione 


ottimale delle opere del Museo. A pochi anni dal 


+ 


canale YouTube e vari profili social. 


2020 partecipa al nuovo canale digi 


a sua apertura il museo è diventato | 
più attivo e visitato tra | musei italiani dedicati all'arte orientale, avvicinandosi al numero di 


120.000 visitatori nel 2019, poco p 
in presenza al MAO fanno attualmente un uso limitato della multimedialità, c'è un'indubbia 
del patrimonio, attraverso il sito web del museo, i 
in Italia ad aderire al progetto pi- 
elle opere d'arte ed ha aderi 


attenzione alla comunicazione a distanza 


ota Google 3D nel 2015 per la visua 
progetto Google Arts & Culture garantendo una visita virtua 
n Onda della Fondazione Torino Musei, di cui il MAO 


ale 


4 


stato il primo museo 


izzazione a 360 gradi d 


rima del periodo pandemico Covid-19. Mentre le visite 


e tramite Street View. 


ua 


toa 
Da ottobre 


fa parte, pensato per fornire contenuti didattici e promuovere laboratori per le scuole; pre- 


+ 


sto sarà resa disponibile anche una selezione di thang-ka tibetani digitalizzati da Google Art 
Camera. || presente lavoro si inserisce dunque tra le varie iniziative condotte dal MAO per 


favorire una fruizione digitale delle sue collezion 


i e costituisce uno dei tasselli di un progetto 


di ricerca e collaborazione, sviluppatosi nell'arco degli ultimi anni e formalizzato in tempi 


+ 


recenti attraverso una convenzione di ricerca stipulata con la Fondazione Torino Musei sui 
temi della digitalizzazione, implementazione di applicazioni di AR e VR per la valorizzazione 
del patrimonio museale del MAO, in particolare per arricchire l'esperienza di visita in situ. 


La collaborazione si è sviluppata, nell'arco del 


tempo, vedendo il gruppo di ricerca impe- 


+ 


gnato su vari fronti, che spaziano dal rilievo, rappresentazione digitale e modellazione fisica 
degli spazi di ingresso e ricevimento del palazzo sede del museo, alla realizzazione di modelli 


TE 


digitali di alcune delle opere appartenenti alle collezioni — associate a repliche tattili e ap- 
plicazioni di AR e VR pensate per arricchire l'esperienza di fruizione, in un'ottica inclusiva —, 
alla definizione di attività di promozione del museo e delle attività di ricerca, attualmente in 


1962 


Fig. Ola) Simone Seagle, 
Animated GIF of the 

work "Cat Watching a 
Spider" by Japanese artist 
Oide T6k6, The Metropo- 
litan Museum of Art, New 
York, Charles Stewart 
Smith Collection, 2018, 
open access: https://www. 
metmuseum.org/blogs/ 
collection-insights/20 | 8/ 
open-access-artwork-a- 
nimations 


fase di implementazione. Il lavoro qui presentato utilizza diversi mezzi di rappresentazione 
per coinvolgere il più ampio pubblico possibile sia in presenza che online, con l'intento di 
proporre una comunicazione che si basa su modalità narrative e media diversi, ricorrendo 
così al transmedia storytelling come definito da Henry Jenkins [Jenkins 201 6]. 


Motion Graphics e collezioni museali: lo stato dell’arte 


Nell'era digitale, la Motion Graphics (MG) costituisce un importante comparto scientifico 
in cui vengono combinati il design grafico e l'animazione per la trasmissione di informazioni 
e la comunicazione di idee.Nell'animazione le immagini vengono catturate (o generate) in 
modo sequenziale per imitare la realtà e il movimento, dando così ‘illusione della vita’: la 
grafica in movimento e la combinazione di testi, immagini e suoni si sovrappongono all'illu- 
sione con scopi informativi e funzionali [Schlittler 2015, p. 2]. 

L'animazione può anche essere vista infatti come un mezzo narrativo per comunicare idee 
o dimostrare principi in vari campi del sapere, come la fisica, la biologia, la medicina, l'inge- 
gneria e l'arte. In quest'ultimo ambito, sono molti gli esempi di animazioni digitali realizzate 
da artisti, registi e sviluppatori in collaborazione con enti museali (fig.0 1). 

Tali produzioni hanno solitamente come soggetto i contenuti di opere d'arte appartenenti 
a collezioni temporanee, permanenti o itineranti. 


Fig. 01b) anonymous author, Art-Animation of the work “Dinner Alone” by artist Yury Tatianin, Erarta Museum of Contemporary Art ErartaYury 
Tatianin Collection, 2022. <https://artsandculture.google.com/story/AQXBFAbISgvsKQ> 


Fig. Olc) Rino Stefano Tagliafierro, “El Prado: Belleza y locura,’ Museo del Prado, 2019. <https://www.youtube.com/watch?v=gx Ojc380Fk8> 


Un primo esempio sono le animazioni interattive del web and educational software developer 
Simone Seagle per il progetto promosso nel 2018 dal Metropolitan Museum of Art di New 
York, Open Access at The Met: Animating Artworks in the Collection [Seagle 2018]. 

L'obiettivo dell'autore è mostrare come la matematica e la programmazione possono com- 
binarsi con le opere d'arte creando qualcosa di nuovo. Un simile approccio è quello adotta- 
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Fig. 02. U. Hiroshige, Le 
cinquantatre stazioni di 
Tokaido (serie Hoeido). 
(Proprietà UniCredit). 


to nel 2022 dall’ Erarta Museum di San Pietroburgo con l'esposizione Art-animation [Erarta 
Museum 2022],il cui intento è quello di adottare un approccio capace di costruire un nuovo 
sistema di relazioni tra le persone e l'arte. Oltre ad essere esposti all'interno del museo, i 
brevi film d'animazione, basati su opere d'arte originali, vengono messi a disposizione trami- 
te la piattaforma di Google Arts & Culture. Tali produzioni espandono il lavoro degli artisti nel 
tempo, estendendo o esplicitandone la poetica o talvolta suggerendo nuove chiavi di lettura. 
Questo progetto mette inoltre a disposizione del pubblico la versione digitale dei dipinti 
dando la possibilità a studiosi e videomaker di realizzare cortometraggi animati e condividerli 
direttamente sulla piattaforma web del museo. Un ultimo significativo riferimento in ambito 
italiano sono i lavori realizzati dal regista Rino Stefano Tagliafierro ed in particolare il video 
prodotto nel 2019 per il Museo del Prado di Madrid [Tagliafierro 2019]. In questa occasione 
nel video vengono ‘mosse' alcune delle opere più significative della pinacoteca: per dare 
vita alle immagini vengono utilizzate tecniche di animazione 2D e fotoritocco. L'obiettivo, 
come sostiene l'autore, è quello di raccontare una storia cercando sempre di mantenere un 
equilibrio tra opera originale e intervento di animazione. Sempre dello stesso autore si può 
fare riferimento anche al Museum of Animated Paintings (MOAP) [Tagliafierro 2014], un 
museo d'Arte virtuale in cui sono esposte le gif animate di importanti dipinti appartenenti 
alla Storia dell'Arte. La MG è una modalità di trasmissione, quindi, che contiene elementi 
multidimensionali e sensoriali, come il vedere, il sentire e il percepire, capaci di catturare le 
emozioni del pubblico e allo stesso tempo di informare, educare ed intrattenere le persone 
migliorando la tempestività e l'efficienza della trasmissione delle informazioni [Geng 2016]. 


Il caso studio: la stazione di Otsu e la thang-ka della scuola Karma sgar-bris 


Con il presente contributo gli autori intendono mostrare due casi pratici di animazione 
digitale applicata a due opere appartenenti alle collezioni del MAO: le xilografie riguardanti 
le Cinquantatré Stazioni del Tokaido, realizzate dall'artista Utagawa Hiroshige nel 1832 e una 
thang-ka realizzata dalla scuola Karma sgar-bris e risalente al XVIII secolo. Per quanto riguar- 
da il primo caso, si tratta di un ‘diario illustrato’ attraverso cui il pittore Hiroshige, costretto 
ad intraprendere il viaggio come membro di una missione annuale dello Shogun a Edo, guida 
l'osservatore attraverso il cambiamento delle stagioni e i diversi punti di vista del paesaggio 
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Fig. 03. U. Hiroshige, Le 
cinquantatre stazioni di 
Tokaido (serie Hoeido): 
Otsu. (Proprieta Uni- 
Credit). 


Fig. 04 .Thangka storie di 
Mandhatar, Candraprabha 
e Supriya, XVIII sec. con 
individuazione delle 
diverse scene utilizzate per 
la costruzione del video 
(rettangoli con tratto 
continuo) e transizioni 


(tratteggi). 


Fig. 05. Workflow del 
progetto di motion 
graphic (F. Ronco). 


[Folks 2016]. Durante questo percorso realizza cinquantacinque stampe, organizzate in cin- 
que serie intitolate ‘“Hoeido, Kyoka, Gyosho, Tsutaya e Upright” (fig. 02). Gli autori, spinti dalla 
disposizione consequenziale delle stampe nell'allestimento della collezione (all'interno di una 
sala-corridoio) e dall'intento di tradurre concretamente l'idea di viaggio-movimento, hanno 
pensato ogni xilografia come fosse un fotogramma di un unico film e proposto, per ciascuna, 
la realizzazione di un video in Motion Graphics. Il lavoro, attualmente nella fase iniziale, ha visto 
per ora la sua concretizzazione nella produzione di un video per una delle stazioni, la stazione 
53-Otsu (fig. 03). Il secondo caso riguarda invece la tela Thang-ka, facente parte di una serie di 
dipinti dedicati alle avadana: queste sono storie, di solito narrate dal Buddha, che illustrano il 
funzionamento del karma rivelando gli atti di un particolare individuo in una vita precedente 
e | risultati di quelle azioni nella sua vita presente. Tra le vite narrate si trovano anche le vite 
precedenti del Buddha stesso. Le storie raffigurate nella thang-ka sono tratte dall’ Avadanakal- 
palata, testo scritto nell'XI secolo dal poeta buddhista Kshemendra.All'interno del dipinto sono 
illustrate le storie delle figure del re Mandhatar, del re Candraprabha e del mercante Supriya, 
corrispondenti alle avadana 4-5-6 (fig. 04). Ogni storia rappresentata sulla thang-ka occupa una 
diversa area e gli episodi che compongono una stessa storia sono perlopiù raggruppati tra 
loro. La logica che guida la disposizione delle diverse scene non è data dall'ordine di lettura, 
ma dalla posizione nello spazio dei personaggi: ciò rende il dipinto un'opera unidimensionale 
dal punto di vista temporale. Gli autori hanno dunque focalizzato l'attenzione sul tema della 
temporalità utilizzando l'animazione come strumento per favorire una narrazione di tipo line- 
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Fig. 06. Storyboard del 
video per la stazione 

di Otsu (Progetto di 

G. Bertola, F. Ronco. 
Animazione e storyboard 
di G.Bertola). 


The scene is animated by the wind i 
moving trees and clouds. right. 


Wagons with oxen appear in the The room follows the with oxen laden The room follows the oxen and stops 
upper right scene. with rice, straw and firewood slowly in front of the tea house. 
advancing towards the tea house. 


In the foreground a traveler cools off The room moves to the inside of the Zoom out on the scene. Full view of 
in the water spring. A child runs up to house where the women making rice the station. 
him. cakes. 
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are, più comprensibile dal visitatore. Entrambe le rielaborazioni digitali hanno previsto un wor- 
kflow (fig. 05) incentrato sulla consultazione di testi descrittivi riguardanti le opere, l'analisi dei 
contenuti delle immagini (con l'individuazione dei dettagli chiave, come soggetti, ambientazioni, 
azioni), per la redazione dello storyboard (fig. 06). Una volta definito il formato video (16:9), si 
è proceduto con le operazioni di rielaborazione delle immagini, con il ‘distacco’ degli oggetti e 
dei personaggi dallo sfondo e con la distinzione tra gli elementi statici (montagne, terreno, edi- 
fici) e quelli dinamici (alberi, persone, mezzi di trasporto). | soggetti sono stati scontornati con 
il software Adobe Photoshop® e attraverso l'uso della Wacom Pen Tablet®, i vuoti sono stati 
reintegrati creando collegamenti cromatici e formali per ripristinarne la continuità. Attraverso il 
software di animazione Adobe After Effects® (fig. 07), sono stati definiti il tempo, la posizione, 
la scala, la variazione di forma, i movimenti dei soggetti e il suono. Quest'ultimo, in partico- 
lare, ha rappresentato uno strumento fondamentale per segnare il ritmo della narrazione, 
accentuando la carica emotiva ed il valore espressivo delle immagini all'interno del video (fig. 
08), inquadrate dinamicamente attraverso movimenti orizzontali e diagonali della telecamera, 
avvicinamento e allontanamento dai soggetti in movimento. 
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Fig. 07. Esempio di 
applicazione del Puppet 
Tool in Adobe After 
Effects® (Progetto di 

G. Bertola, F. Ronco. 
Animazione di G. Bertola). 


Fig. 08. Frame di MG "Le 
stazioni di Tokaido. 53. 
Otsu" (Progetto di G. 
Bertola, F. Ronco. Anima- 
zione di G. Bertola). 


AI e image processing come strumenti per l'automazione 


Un altro tema, molto attuale in campo museale, è quello che riguarda l'Intelligenza Artificiale 
(Al) ed in particolar modo la Computer Vision (CV): recentemente, diversi musei hanno ini- 
ziato a farne uso, tra cui il Metropolitan Museum of Art, la Barnes Foundation e gli Harvard 
Art Museums che l'hanno impiegata la per analizzare, classificare e interpretare le immagini 
delle loro collezioni [Ciecko 2020]. La Computer Vision si riferisce generalmente alle tecnolo- 
gie coinvolte nel permettere ai computer di attribuire un senso alle immagini, di capire quindi 
ciò che vedono. L'applicazione più comune è il riconoscimento delle immagini, che permette 
l'identificazione di oggetti e delle loro caratteristiche: oggi è usato in numerose applicazioni, 
come l'imaging medico, la sorveglianza di sicurezza, il riconoscimento facciale, l'identificazione 
di luoghi ed edifici, solo per citarne alcune. Tuttavia, perché questi modelli funzionino, le immagi- 


+ 


ni devono prima essere etichettate, segmentate, o sottoposte ad altri passaggi di elaborazione. 
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Fig. 09. Simulazione di 
segmentazione semantica 
applicata sui casi studio: 
a) stazione di Otsu; 

bl) Thangka porzione 
superiore; b2) Thangka 
porzione inferiore 
(FRonco). 


Per addestrare i modelli di Computer Vision, @ necessario elaborare (image processing) ed 
etichettare (Image labeling) un corpus di immagini abbastanza grande, in modo che il modello 
di Computer Vision possa essere utilizzato per rilevare oggetti simili in altre immagini [Sheng 
2020].Per le opere che abbiamo presentato, ai “ni della ottimizzazione del lavoro di Motion 
Graphic, ci sembrano particolarmente interessanti gli algoritmi di Image Segmentation, che 
comportano la suddivisione dell'immagine in segmenti multipli, permettendo di localizzare 
i di erenti elementi e identi"carne i con“ni. L'Image Segmentation pu essere di due tipi: 
semantica (semantic segmentation) e di istanza (istance segmentation). La versione combinata 
di questi due compiti di base @ conosciuta come segmentazione panottica (panoptic segmen- 
tation) [Sultana et al. 2020, pp. 1-38]. La semantic segmentation esegue l'etichettatura a livello 
di pixel a partire da un insieme di categorie di oggetti (ad esempio, uomo, auto, albero, cielo) 
per tutti i pixel dell'immagine; quindi, si colloca ad un livello di elaborazione superiore rispet- 
to alla semplice classi'“cazione dell'immagine nel suo complesso, che attribuisce una singola 
etichetta per l'intera immagine. 

La segmentazione dell'istanza estende l'ambito della segmentazione semantica rilevando e 
delineando ogni oggetto di interesse nell'immagine (ad esempio, le singole persone) [Minaee 
et al.2021, pp. 1-20]. 

Esistono diversi algoritmi di segmentazione: nel caso specifico alcuni studiosi ne hanno spe- 
rimentati diversi sulle thang-ka [Wang, Xiaojing 2020, pp. 72-77]. Gli algoritmi basati sul dee- 
p-learning sembrano essere quelli più affidabili, date le caratteristiche delle opere (varietà di 
personaggi e ricchezza cromatica). L'algoritmo deep learning impara infatti le caratteristiche 
dell'immagine a partire da dati su larga scala costruendo una rete neurale artificiale multi- 
strato, che ha una forte capacità di generalizzazione. Quindi anche se il set di dati applicato 
dall’algoritmo cambia, l'effetto di segmentazione dell'immagine sarà comunque buono. 
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Conclusioni 


Relativamente ai casi studio presentati, gli strumenti di segmentazione basati sull’Al potreb- 
bero essere molto utili per diversi scopi: classificare le opere, etichettarle e conseguente- 
mente automatizzare il lavoro di selezione degli elementi e di separazione dallo sfondo. 
Sia nel caso della stampa giapponese che, come abbiamo precedentemente illustrato, fa 
parte di una serie di illustrazioni raffiguranti le 53 stazioni di Tokaido, sia nel caso della 
thang-ka, (il MAO ne possiede un ampio repertorio, costituito da immagini molto ricche e 
complesse) l'applicazione di un algoritmo di segmentazione semantica (fig. 09) e di labeling 
consentirebbe di individuare i diversi elementi ricorrenti nelle singole raffigurazioni (perso- 
ne, vegetazione, edifici, mezzi di trasporto, elementi del paesaggio, nuvole, ecc..), di separarli 
dallo sfondo e quindi di rendere molto più rapido il lavoro di preparazione alle applicazioni 
di MG, che nei casi studio presentati è stato fatto esclusivamente a mano. Questo rende- 
rebbe il processo più efficiente in termini di tempo e di costo, garantendo una più semplice 
scalabilità del progetto ai molteplici repertori di immagini presenti nelle collezioni. Il museo 
e le comunità di studiosi, inoltre, potrebbero beneficiare del lavoro di classificazione a scopi 
archivistici, di studio e ricerca, di diffusione del patrimonio. 
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Abstract 


The work presented here aims at proposing a communication based on different narrative modes 
and media to involve the widest audience both in presence and online. The authors show two prac- 
tical cases of digital animation (Motion Graphic) applied to two works belonging to the Museum of 
Oriental art collections: the woodcuts concerning the fifty-three stations of the Tokaido (the main 
communication route during the Edo period, 1603-1868 until the construction of the railway in the 
Meiji period, 1868-1912), made by the artist Utagawa Hiroshige in 1832 and a thang-ka made by the 
Karma sgar-bris school and dating back to the | 8th century. As suggested by the most recent studies 
in the field of Artificial Intelligence applied to image recognition, the research could profitably make 
use of image segmentation algorithms for the optimization of the preparation phases, and not only, 
of the workflow. 
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Introduction 


As sociologist John Urry noted in 1995, the Western world is witnessing a true proliferation 
of new museum subjects [Urry 1995], which has also occurred thanks to the development 
of Edutainment activities. In this regard, even the International Council of Museums (ICOM) 
affirms the importance of the formative and educational role of museums, arguing that they 
should “hold artifacts and specimens in trust for society, safeguard diverse memories for 
future generations,’ and “collect, preserve, research, interpret, display, and enhance under- 
standing of the world” [ICOM 2007]. This process, which now converges towards the user 
who can decide whether to interact passively or actively with the proposed tools, has been 
called ‘sensitive experiencing’ [Lariani et al. 2002]. 

The need to overcome the purely conservative and expositive vision of the museum has 
led, through a process still in progress, to give it a more active role, giving it an educational 
and communicative function. This has promoted the realization of communication projects 
designed to facilitate the transmission of knowledge through entertainment, which allows 
visitors to interact with the cultural heritage and get involved in the learning process. 

New technologies, visually based and interactive, allow an enormous extension of the 
sense-motor modalities of knowing because they make visual perception and action appli- 
cable to objects that no longer have to be physically present or even exist. 


The Museum of Oriental Art: research paths 


The Museum of Oriental Art of Turin (MAO) was opened to the public in 2008 thanks to the 
joint effort of the City of Turin, the Piedmont Region, and two bank foundations. It is one of the 
most important in Italy and among the largest in Europe for the knowledge and study of Ori- 
ental art. The museum’s collections are housed in the historic Palazzo Mazzonis, a monumental 
building from the |7th-18th centuries, which has undergone a refined and accurate restora- 
tion that has enhanced the ancient structures and decorations and allowed for an optimal dis- 
play of the museum's works. A few years after its opening, the museum has become the most 
active and visited among Italian museums dedicated to Oriental art — approaching the num- 
ber of 120,000 visitors in 2019, just before the Covid-19 pandemic period. While in-person 
visits to the MAO currently make limited use of multimedia, there is an undoubted focus on 
ong-distance communication of the heritage through the museum's website, You Tube channel, 
and various social profiles. It was the first museum in Italy to join the Google 3D pilot project 
in 2015 for the 360-degree visualization of artworks and has joined the Google Arts & Culture 
project guaranteeing a virtual visit via Street View. Since October 2020, it has been participating 
in the new digital channel In Onda of the Fondazione Torino Musei, of which the MAO is part, 
designed to provide educational content and promote workshops for schools; soon a selec- 
tion of Tibetan thang-ka digitized by Google Art Camera will also be made available. This work is 
part of the various initiatives carried out by MAO to promote the digital use of its collections 
and is one of the pieces of a research and collaboration project developed over the past years 
and formalized recently through a research agreement with the Fondazione Torino Musei on 
the themes of digitization, implementation of AR and VR applications for the enhancement of 
the museum heritage of MAO to enrich the experience of visiting in situ. The collaboration 
has developed over time, seeing the research group engaged in several activities ranging from 
the survey, digital representation, and physical modeling of the entrance and reception areas of 
the museum building to the creation of digital models of some of the works belonging to the 
collections — associated with tactile replicas and applications of AR and VR designed to enrich 
the experience of fruition, in an inclusive perspective —, to the definition of promotional activi- 
ties of the museum and research, currently being implemented. The work presented here uses 
different means of representation to engage the widest possible audience both in presence 
and online, intending to propose a communication that relies on different narrative modes 
and media, thus resorting to Transmedia storytelling as defined by Henry Jenkins [Jenkins 2016]. 
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Fig. Ola) Simone Seagle, 
Animated GIF of the 

work "Cat Watching a 
Spider” by Japanese artist 
Oide T6k6, The Metropo- 
litan Museum of Art, New 
York, Charles Stewart 
Smith Collection, 2018; 


Motion Graphics and Museum Collections: The State of the Art 


In the digital age, Motion Graphics (MG) is an important scientific field in which graphic 
design and animation are combined to convey information and communicate ideas. 

In animation, images are captured (or generated) sequentially to mimic reality and motion, 
thus giving ‘the illusion of life’: motion graphics and the combination of text, images, and 
sound, are superimposed on the illusion with informational and functional purposes [Schlit- 
tler 2015, p. 2]. Animation can also be seen as a narrative medium for communicating ideas 
or demonstrating principles in various fields of knowledge, such as physics, biology, medicine, 
engineering, and art. 

In the latter field, there are many examples of digital animations created by artists, filmmak- 
ers, and developers in collaboration with museum institutions (fig.01). These productions 
usually have as subject the contents of works of art belonging to temporary permanent, 
or traveling collections. The first examples are the interactive animations by web and ed- 
ucational software developer Simone Seagle for the project promoted in 2018 by the 
Metropolitan Museum of Art in New York, Open Access at The Met: Animating Artworks in 
the Collection [Seagle 2018]. The goal is to show how mathematics and programming can 
combine with artworks to create something new.A similar approach is used by the Erarta 
Museum in St. Petersburg with its Art-animation exhibition [Erarta Museum 2022], whose 
intent is to take a communication method capable of building a new system of relationships 
between people and art. In addition to being exhibited inside the museum, short videos 
based on original artworks are made available through the Google Arts & Culture platform. 
These productions expand the artists’ work overtime, extending or explicating their poetics 
or suggesting new keys to interpretation. This project also makes the digital version of the 
paintings available to the public, giving scholars and videomakers the chance to make short 
videos and share them directly on the museum's web platform. 


Fig. 01b) anonymous author Art-Animation of the work “Dinner Alone” by artist Yury Tatianin, Erarta Museum of Contemporary Art ErartaYury 
Tatianin Collection, 2022. <https://artsandculture.google.com/story/AQXBFAbISgvsKQ> 


Fig. OIc) Rino Stefano Tagliafierro, “El Prado: Belleza y locura,’ Museo del Prado, 2019. <https://www.youtube.com/watch?v=gx Ojc380Fk8> 
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Fig. 02. U. Hiroshige, The 
fifty-three stations of 
Tokaido (Hoeido series). 
(UniCredit property). 


A last significant reference in the Italian context is the work realized by the director Rino 
Stefano Tagliafierro and the video produced in 2019 for the Prado Museum in Madrid [Tag- 
liafierro 2019]. On this occasion, in the video, some of the most significant works of the art 
gallery are ‘moved’: 2D animation and photo-retouching techniques are used to bring the 
images to life. The goal — as the author says — is to tell a story, always trying to maintain a bal- 
ance between original work and animation intervention. Always by the same author we can 
also refer to the Museum of Animated Paintings (MOAP) [Tagliafierro 2014], a virtual art 
museum where animated gifs of important paintings belonging to Art History are exposed. 
Therefore, MG is a mode of transmission that contains multidimensional and sensory el- 
ements, such as seeing, feeling, and sensing, capable of capturing audience emotions while 
informing, educating, and entertaining people by improving the timeliness and efficiency of 
information transmission [Geng 2016]. 


The Case Study: the Otsu station and the thang-ka by the Karma sgar-bris school 


This paper intends to show two practical cases of digital animation applied to two works 
belonging to the MAO collections: the woodcuts concerning the Fifty-three Stations of the 
Tokaido, made by the artist Utagawa Hiroshige in 1832, and a thang-ka made by the Karma 
sgar-bris school and dating back to the | 8th century. 

The first case is an ‘illustrated diary’ through which the painter Hiroshige, forced to under- 
take the journey as a member of an annual mission of the Shogun in Edo, guides the viewer 
through the changing seasons and different views of the landscape [Folks 201€]. During this 
journey, he made fifty-five woodcuts, organized into five series titled Hoeido, Kyoka, Gyosho, 
Tsutaya, and Upright (fig. 02). The authors, given the consequential disposition of the works 
in the exhibition (inside a corridor room) and driven by the intent to translate concretely 
the idea of travel, have thought of each woodcut as a frame of a single film and proposed, 
for each one, the realization of a Motion Graphics video. The work, currently in its initial 
phase, has seen its realization in the production of a video for one of the stations, station 
53-Otsu (fig. 03). 
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Fig. 03. U. Hiroshige, The 
fifty-three stations of 

Tokaido (Hoeido series): 
Otsu. (UniCredit 


Fig.04 Thangka stories of 
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Fig. 05. Workflow of the 
motion graphic project. 


The second case study concerns the thang-ka canvas, part of a series of paintings dedicated 
to avadanas: these are stories, usually narrated by the Buddha, that illustrate the workings 
of karma by revealing the acts of a particular individual in a previous life and the results of 
those actions in his or her present life. Among the lives narrated are the previous lives of the 
Buddha himself. The stories depicted in the thang-ka are taken from the Avadanakalpalata, a 
text written in the | Ith century by the Buddhist poet Kshemendra. 

Illustrated within the painting are the stories of the figures of King Mandhatar King Can- 
draprabha, and the merchant Supriya, corresponding to avadanas 4-5-6 (fig. 04). 

Each story depicted on the thang-ka occupies a different area, and the episodes that make 
up the same story are mostly grouped. 

The logic guiding the arrangement of the different scenes is not given by the reading order, 
but by the position in space of the characters: this makes the painting a one-dimensional 
work from a temporal point of view. The authors have therefore focused their attention on 
the theme of temporality, using animation as a tool to encourage a linear type of narration, 
more comprehensible to the visitor. 

Both digital re-elaborations have foreseen a workflow (fig.05) centered on the consultation 
of descriptive texts concerning the works, the analysis of the images’ contents (with the 
identification of key details, such as subjects, settings, actions), for the drafting of the story- 
board (fig. 06). Once the video format was defined (16:9), we proceeded with the opera- 
tions of reprocessing the images, with the ‘detachment’ of objects and characters from the 
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Fig. 06. Storyboard of the 
video for the Otsu station 
(Project by G. Bertola, 

F. Ronco. Animation and 
storyboard by G.Bertola). 


The scene is animated by the wind 
moving trees and clouds. right. 


Wagons with oxen appear in the The room follows the with oxen laden The room follows the oxen and stops 
upper right scene. with rice, straw and firewood slowly in front of the tea house. 
advancing towards the tea house. 


In the foreground a traveler cools off The room moves to the inside of the Zoom out on the scene. Full view of 
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him. cakes. 


ee "Product by.. 


Wagons leaving the scene. Scene without wagons. Appearance of final texts. 


background and with the distinction between static elements (mountains, terrain, buildings) 
and dynamic ones (trees, people, means of transport). The subjects were contoured with 
Adobe Photoshop® software and through the use of the Wacom Pen Tablet®, the voids 
were reintegrated by creating chromatic and formal connections to restore continuity. 

Through Adobe After Effects® animation software (fig. 07), time, position, scale, shape variation, 
subject movements, and sound were defined. The latter, in particular represented a fundamental 
instrument to mark the rhythm of the narration, accentuating the emotional charge and the 
expressive value of the images inside the video (fig. 08), dynamically framed through horizontal 
and diagonal movements of the camera, approaching and moving away from the subjects. 


Al and image processing as tools for automation 
Very current in the museum field, is the theme of Artificial Intelligence (Al) and ComputerVision 


(CV). Recently, several museums, including the Metropolitan Museum of Art, the Barnes Foun- 
dation and the Harvard Art Museums have employed it to analyze, classify and interpret the 
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Fig. 07. Example of 
application of the Puppet 
Tool in Adobe After 
Effects® (Project by 

G. Bertola, F. Ronco. 
Animation by G. Bertola). 


Fig. 08. Frame of MG 
“The stations of Tokaido. 
53. Otsu" (Project by G. 
Bertola, F. Ronco. Anima- 
tion by G. Bertola). 


images of their collections [Ciecko 2020]. ComputerVision generally refers to the technologies 
that allow computers to attribute meaning to images, thus understanding what they see. 

The most common application is image recognition, which allows the identification of objects 
and their features: it is now used in numerous applications, such as medical imaging, security 
surveillance, facial recognition, and identification of places and buildings, to name a few. However, 
these models work if images are first labeled, segmented, or undergo other processing steps. 
Computer Vision models have to be trained: it is necessary to process (image processing) and 
label (image labeling) a large corpus of images so that the Computer Vision model can detect 
similar objects in other images [Sheng 2020]. 

For the presented works, we find particularly interesting the image segmentation algorithms 
to optimize the Motion Graphic work. It involves the image subdivision into multiple segments, 
allowing us to locate the different elements and identify their boundaries. Image segmentation 
can be of two types: semantic (semantic segmentation) and instance (instance segmentation). 
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Fig. 09. Semantic segmen- 
tation simulation applied 
to case studies: a) Otsu 
station; b |) Thangka up- 
per portion; b2) Thangka 
lower portion (F. Ronco). 


The combined version of these two basic tasks is known as panoptic segmentation [Sultana 
et al. 2020, pp. 1-38]. Semantic segmentation performs pixel-level labeling from a set of object 
categories (e.g, human, car, tree, sky). It is a higher level of processing than simply classifying the 
image as a whole, which assigns a single label for the entire image. Instance segmentation extends 
the scope of semantic segmentation by detecting and delineating every object of interest in the 
image (e.g. individuals) [Minaee et al.2021, pp. 1-20]. 

There are several segmentation algorithms: in this specific case, some scholars have experi- 
mented with several on the thang-ka [Wang, Xiaojing 2020, pp. 72-77]. The algorithms based on 
deep learning seem to be the most reliable ones, given the characteristics of the works (variety 
of characters and chromatic richness). The deep learning algorithm learns image features from 
large-scale data by building a multilayer artificial neural network, which has a strong generalization 
ability. So even if the dataset applied by the algorithm changes, the image segmentation effect 
will still be good. 


Conclusion 


Al-based segmentation tools, applied to the case studies presented, could be very useful for 
several purposes: classifying works, labeling them and consequently automating the work of 
selecting elements and separating them from the background. 

Both in the case of the Japanese artwork, part of a series of illustrations, and in the case of 


the thang-ka, (the MAO has a large repertoire of them, consisting of very rich and complex 
images) the application of a semantic segmentation algorithm (fig. 09) and labeling algorithm 
would make it possible to identify the different recurring elements in the single representa- 
tions (people, vegetation, buildings, means of transport, landscape elements, clouds, etc.). It 
would allow separating them from the background and thus make the preparation work 
for MG applications, now exclusively done by hand, much faster. It would make the process 
more efficient in terms of time and cost, ensuring the project scalability to the multiple 
repertoires of images in the collections. In addition, the museum and scholarly communities 
would benefit from the work of classification for archival purposes, study and research, and 
dissemination of the holdings. 


Credits 
This paper, whose authors shared the methodological framework (pan Introduction and Conclusion), was written by Marco 


Vitali (par “The Museum of Oriental Art: research paths”), Giulia Bertola (par. “Motion Graphics and Museum Collections: The 
State of the Art” and “The Case Study: the Otsu station and the thang-ka by the Karma sgar-bris school”), Francesca Ronco 
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